Serov trở thành Ủy viên Ucraina của NKVD năm 1939, và từ thời điểm này trở đi, ông đóng một vai trò quan trọng trong nhiều hành động của cảnh sát mật Liên Xô trong Thế chiến II, giúp tổ chức trục xuất người Chechnya và những người từ các nước vùng Baltic, trở thành cánh tay phải của Beria vào năm 1941. Tạp chí Time đã cáo buộc ông chịu trách nhiệm về cái chết của "hàng trăm ngàn nông dân Ucraina" trong thời gian này. Serov cũng là một đồng nghiệp ở Ukraine của Nikita Khrushchev, người đứng đầu nhà nước tại địa phương. Ông là một trong những quan chức hàng đầu chịu trách nhiệm về vụ thảm sát Katyn của sĩ quan Ba ​​Lan.

Năm 1941, Serov được thăng chức trở thành Phó ủy viên của NKVD, phục vụ dưới quyền Beria, Serov chịu trách nhiệm trục xuất nhiều người da trắng. Ông đã ban hành cái gọi là Hướng dẫn Serov, mà các thủ tục chi tiết cho việc trục xuất hàng loạt người dân từ các nước vùng Baltic. Ông cũng điều phối việc trục xuất hàng loạt người Crimea từ Crimean ASSR vào cuối Thế chiến II.

Serov là một trong những nhân vật cao cấp tại SMERSH, bộ phận thời chiến của quân đội Hồng quân, Hải quân và NKVD. Serov đã thành lập Bộ Công an Ba ​​Lan, cảnh sát mật Ba Lan cho đến năm 1956, làm cố vấn và tổ chức chính của Liên Xô. Serov đã tổ chức cuộc đàn áp Armia Krajowa với tư cách Phó Ủy viên, giúp mang lại kỷ nguyên lịch sử Ba Lan của Stalin.